李灏

个人信息

参与实验室科研项目

研究课题

由于安防产业的升级，每天产生的监控视角下的视频文件日益增长，对于在这种庞大的视频中搜寻想要的信息例如特定人物出现的时间地点，需要十分的费时。所以能否使用一种智能的方法，仅通过少数有用的信息自动的在庞大的视频文件中搜寻想要的信息是一个有较大需求的方向。基于此，提出基于监控视角下的视频文件进行人物识别，基于少数的人物图片进行在大量视频文件中识别特定的人。监控视角下人物识别的难点在于传统的识别方法如人脸识别的效果不好，存在查全率低的问题。同时由于监控视角下人脸存在扭曲，模糊等情况，准确的有效信息较少，识别会非常困难。希望通过深度学习的方法改善这个问题，并提出一个解决方案。

学术成果

共撰写/参与撰写专利 7 项，录用/发表论文 1 篇，投出待录用论文0篇。

patent

1. 一种基于中层特征扩展卷积网络的农作物病害分析方法 赵云波, 李灏, and 林建武 2022 [Abs] [pdf]

   基于中层特征扩展卷积网络的农作物病害分析方法，首先对数据进行清洗，将数据集分为训练集和测试集，比例按照9:1的比例来分配。并对dataloader进行相应编写；然后构建Bottleneck模块和构建中层特征扩展模块，基于这两种模块构建构建特征提取深度卷积神经网络；对训练图片进行数据增强、标准化，先用大的学习率预训练模型，再用小的学习率和权重衰减微调模型。最后通过读取农作物图片作为模型输入，并保存模型输出信息的方式，实现用中层特征扩展深度卷积神经网络对农作物病害进行有效、迅速的识别。

2. 一种基于多线程的多摄像头实时检测方法 赵云波, 李灏, 林建武, and 宣琦 2022 [Abs] [pdf]

   基于多线程的多摄像头实时检测方法，首先加载基于 ResNet50 和三重损失 函数的行人重识别网络，构建检测人脸库，采用 face_recognition 库提取人脸库的 特征向量，之后开始构建多线程系统，应用 multiprocess 库中的 Queue 构建队列， 并采用 daemon 守护进程，之后通过 Yolo3 将人物定位并用 Opencv 裁剪出来，之后 使用 face_recognition 库中的识别模块进行识别，若无人脸则采用行人重识别网络 进行识别，最后通过多线程并行处理，可以在监控视频中对多个摄像头中 的目 标进行实时检测。

3. 一种基于轻量化的多任务卷积神经网络的导购行为分析方法 赵云波, 林建武, 李灏, and 宣琦 2021 [Abs] [pdf]

   基于轻量化的多任务卷积神经网络的导购行为分析方法，首先对数据进行 清洗，除去不利于神经网络收敛的图片；然后构建带残差和不带残差结构的两 种Bottleneck模块函数， 基于这两种Bottleneck构建轻量化的多任务卷积神经网 络；对训练图片进行数据增强、归一化，先用大的学习率预训练模型，再用小 的学习率微调模型。最终实现用轻量化多任务卷积神经网络对导购的行为进行 有效、快速的识别。

4. 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法 赵云波, 林建武, 李灏, and 宣琦 2021 [Abs] [pdf]

   基于yolo和多任务卷积神经网络的导购消极行为监控方法，首先训练一个 基于yolo的行人检测模型，用ImageNet和voc2007数据集预训练模型，再用监控 场景图像微调模型；然后构建一个基于ResNet50的多任务卷积神经网络，用手 工标注过的多标签图像数据训练该网络；接着用rtsp协议读取商场监控画面， 用行人检测模型检测画面中的行人，而后将行人图像输入到多任务卷积神经网 络，识别行人是否为导购，是否闲坐， 是否在玩手机，以此判断导购是否存在 消极行为，并将“严重消极”和“一般消极”的导购画面保存在本地。最终实 现用基于yolo的行人检测网络和多任务卷积神经网络对导购消极行为进行有效 的监控和记录。

5. 一种基于密集网络的多任务卷积神经网络的顾客行为分析方法 赵云波, 李灏, 林建武, and 宣琦 2021 [Abs] [pdf]

   基于密集网络的多任务卷积神经网络的顾客行为分析方法 ，首先对数据进 行清洗，分为训练测试集并对dataloader进行相应编写；然后构建Dense_Block 模块和Transition_layer模块，基于这两种模块构建密集网络的多任务卷积神 经网络；对训练图片进行数据增强、标准化，先用大的学习率预训练模型，再 用小的学习率和权重衰减微调模型。最终实现用密集网络多任务卷积神经网络 对顾客的行为进行有效、迅速的识别。本发明使用单个神经网络完成对商场店 铺中的顾客行为分析，提升店铺自身能力；本发明使用密集网络的卷积神经网 络，对顾客的多个属性进行同时分析，提升使用效率。

6. 一种基于人脸识别与行人重识别的特定目标跟踪方法 赵云波, 林建武, and 李灏 2021 [Abs] [pdf]

   基于人脸识别与行人重识别的特定目标跟踪方法，首先训练基于特征融合 与三重损失函数的行人重识别神经网络，建立追踪目标人脸库，人脸识别模块 提取人脸库的人脸特征向量；然后检测监控画面中的行人，人脸识别模块提取 监控画面中行人人脸特征，与人脸库特征向量比对相似度，人脸识别成功则保 存由行人重识别模型得到的行人特征至行人库。人脸识别失败则进行行人重识 别，比对行人特征与行人特征库的相似度。行人重识别成功则保存相似度高的 行人特征至行人库，行人重识别失败则利用上下帧的时空相关性确定行人的身 份。最终实现在监控中对特定目标实时、有效的跟踪。

7. 一种基于困难五元组的跨模态行人重识别方法 赵云波, 林建武, 唐敏, and 李灏 [Abs]

   基于困难五元组的跨模态行人重识别方法，首先构建跨模态行人重识别模型，使用卷积神经网络提取图像特征，嵌入特征连接身份损失和排序损失，用单模态行人重识别数据集进行预训练；然后对训练批次图像进行选取，使用已有的单模态行人重识别网络进行行人特征提取，根据输入图像的特征向量构建困难五元组，困难五元组损失函数联合身份损失函数进行训练。最终在跨模态行人重识别数据集SYUS-MM01上实现优越的精度。本发明将单一模态行人重识别迁移至跨模态行人重识别任务中，可扩展性、便利性高；收敛速度快、精度高。

Journal Articles

1. 基于改进困难三元组损失的跨模态行人重识别框架 李灏, 唐敏, 林建武, and 赵云波 计算机科学 2020 [Abs] [doi] [pdf]

   为了提升跨模态行人重识别算法识别精度，提出了一种基于改进困难三元组损失特征学习框架。首先，改进了 传统困难三元组损失，使其转换为全局三元组损失。其次，基于跨模态行人重识别中存在模态间变化及模态内变化问 题，设计模态间三元组损失及模态内三元组损失配合全局三元组损失进行模型训练。在改进困难三元组损失基础上， 首次在跨模态行人重识别模型中设计属性特征来增加模型提取特征能力。最后，针对跨模态行人重识别中出现类别失 衡问题，首次引用Focal Loss 替代传统交叉熵损失进行模型训练。相比现有算法，在RegDB 数据集实验中，本文框 架在各项指标中均有1.9%-6.4%的提升。另外，通过消融实验也证明了三种方法均能提升模型特征提取能力。

学位论文

Theses

1. 监控视角下基于深度学习的人物识别方法研究 李灏 浙江工业大学, 杭州 2020 [Abs] [pdf]

   监控视角下人物识别是智能安防领域内重点研究方向，高效准确的人物识 别算法能在公安刑侦等需要追踪特定目标的场景中发挥重要作用。然而监控摄 像头拍摄的图片带有复杂的背景信息及噪声干扰，造成传统人物识别方法无法 有效识别。深度学习方法相比传统人物识别方法在行人目标检测和识别领域在 准确性以及鲁棒性上存在很大提升。因此，基于深度学习的人物识别方法引发 大量关注。 本文从卷积网络结构，排序损失以及身份损失等三个方面对单模态行人重 识别以及跨模态行人重识别的人物识别算法进行改进。改进方法在行人重识别 数据集实验中相比原有方法在精度上均有提升。同时本文基于深度学习方法设 计一套监控视角下人物识别系统，为智能安防项目提供一套可行方案。本文主 要工作如下： (1) 提出了基于表征学习的中层特征扩展方法，缓解了单模态行人重识别中 卷积网络模型对训练数据集过拟合问题。本文对卷积网络模型进行改造，在骨 干网络基础上抽取中层特征进行分组池化操作后，将其与高层特征拼接输出。 实验证明所提方法可以有效提升模型泛化能力，提高人物识别精度。 (2) 提出了基于度量学习的跨模态行人重识别训练框架，改善了光线较差情 况下无法有效识别行人的问题。本文使用双流结构分别提取不同模态的行人图 片，并对特征提取模块进行改造。在改造网络结构的基础上，本文提出跨模态 双流困难三元组损失函数改进排序损失提升训练效果，以及使用焦点损失替代 传统身份损失提升困难样本在训练中的学习权重。上述三种方法在 RegDB 数据 集上进行实验并取得优异成绩。 (3) 搭建了一套监控视角下人物识别系统，验证了深度学习算法用于智能安 防项目的可行性。系统搭建在多摄像头拍摄的室内环境中，使用 YOLOv3 目标 识别算法和多重识别算法分别进行行人目标检测和人物识别。为了保证系统有 效运行，本文不仅针对多重识别算法设计一套识别流程，还 针对实时性需求设 计多线程版本识别流程。系统经过实验收集并制作了单模态行人数据集为中层 特征扩展方法提供实验数据，验证了人物识别系统的可行性。

毕业去向

杭州同花顺科技股份有限公司， 软件开发工程师